Richards dilahirkan pada 1 April 1912, dalam sebuah keluarga yang kaya di Salem, Massachusetts . [1] Apabila beliau berumur lima tahun, beliau dimasukkan ke hospital selama beberapa bulan dengan meningitis tulang belakang, yang melemahkannya secara fizikal. [1] Sepanjang zaman kanak-kanaknya, beliau merasa terkekang oleh harapan maskulin daripada bapa dan rakan sekolahnya. [1] Apabila ibu bapanya berpisah ketika beliau berumur 13 tahun, beliau berpindah bersama ibunya ke Los Angeles, di mana beliau mula menikmati zaman persekolahannya. [1]

Dia mendaftar di Kolej Pomona di Claremont, California, pada tahun 1931, tetapi berhenti selepas satu tahun. [1] Beliau mencuba beberapa pekerjaan sebelum memutuskan dalam reka bentuk dalaman . [1]